Nguyên ông mang họ Hoàng, cùng chi họ với Hoàng Hoa Thám, thủ lĩnh nghĩa quân chống Pháp. Ông nội Hoàng Hảo và cha Hoàng Tân từng tham gia nghĩa quân Yên Thế. Ông sinh ngày 4 tháng 2 năm 1911 (Tân Hợi) tại Cầu Vồng, tổng Vân Cầu, phủ Yên Thế (nay thuộc xã Song Vân, huyện Tân Yên), tỉnh Bắc Giang.[1]

Năm 1913, thủ lĩnh Hoàng Hoa Thám mất tích, nghĩa quân Yên Thế tan rã; ông nội và bố mẹ ông phải thay tên đổi họ, lẩn tránh về Đồ Sơn (Hải Phòng). Tại đây, ông được gia đình làm khai sinh với ngày sinh 4 tháng 2 năm 1913.[1]